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Применение анализа связньхх областей к задаче 
распознавания злементов дактильно-жестового язьтка 


Об'єктом дослідження є дактильно-жестова мова, яка використовується для спілкування людьми з вадами 
слуху. Метою дослідження є розробка та реалізація алгоритмів розпізнавання дактильно-жестової 
мови. У роботі розглядається застосування методів аналізу зв'язних областей, а також використання 
кутових параметрів для ідентифікації елементів дактильно-жестової мови. 
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Кеу у/огаз: декіиге гесобпійоп, ідепіийсацоп ої дезіите. 


Обьектом исследования является дактильно-жестовьтй язьтк, используемьшй для общения людьми с 
проблемами слуха. Целью исследования является разработка и реализация алгоритмов распознавания 
дактильно-жестового язьгка. В работе рассматриваєтся применение методов анализа связньгх областей, а 
также использование угловьїх параметров для идентификации злементов дактильно-жестового язька. 
Ключевьге слова: распознаваниє жестов, идентификация жеста. 


Вступ 


Згідно з дослідженнями, близько 590 людей у світі мають ті або інші порушення 
слуху. На жаль, з кожним роком ця цифра зростає. У свою чергу порушення слуху 
породжує проблему розвитку мови спілкування цих людей. Більшість глухих є інвалі- 
дами з дитинства. Навчаючись у спецінтернатах, спілкуючись у власному середовищі, 
вони утворюють своєрідну субкультуру. Між собою такі люди спілкуються спеціаль- 
ною жестовою мовою 1 їм досить важко контактувати з навколишнім світом. 

Тому виникає необхідність створення комп'ютерних систем для вивчення жесто- 
вої мови як інструменту комунікацій пересічних людей з людьми з обмеженим слухом. 
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Метою даної роботи є розробка загальної схеми роботи системи для розпізна- 
вання елементів дактильної мови, а також використання спеціальних ознак положень 
кисті руки людини з метою підвищення ефективності розпізнавання жестів. Запропо- 
новано ряд алгоритмів для ідентифікації окремих елементів жестів, в яких викори- 
стовується аналіз кутових параметрів зображення і елементів дактиля. Даний підхід 
надає можливість правильно розпізнавати дактиль і уникнути певних труднощів при 
розпізнаванні станів кисті людини на різних фокусних відстанях. 


Огляд існуючих підходів 


Одним з найбільш ефективних підходів до розпізнавання елементів дактильної 
мови є використання механічних рукавиць. Так, в роботі (1| автори розробили систему 
розпізнавання американської дактильної абетки за допомогою використання механічної 
рукавички РакаСіоуе. У роботі |2| описана система, яка заснована на нейромережному 
класифікаторі. Для вводу даних використовуються механічні рукавиці СубегСіоуе та 
Роіретиз І5оТтаск. 

Широкого застосування при розпізнаванні елементів жестової мови отримали тех- 
нології захвату рухів МоСар |3|. Для даної технології використовуються рукавиці, на 
яких розміщені перетворювачі інформації про положення від 5 до 32 камер. 

Жест можна розпізнати за траєкторією руху руки на послідовності кадрів. У ро- 
боті |4| для розпізнавання жестів керування медіаплеєром або пакетом РомегРоїпі 
пропонується застосувати динамічну мережу Баєсса, яка включає приховану Марків- 
ську модель і фільтр Калмана. У роботі |5| розробляється система розпізнавання жестів, 
у якій використовуються сегментація зображення, відстеження обличчя 1 рук людини. 
Для вдалого відстеження обличчя 1 рук використовуються алгоритми виявлення шкіри, 
врахування особливостей руху, позицій рук 1 обличчя. Після виділення руки прово- 
диться аналіз форми 1 порівняння з деякими еталонними зображеннями. 


Схема роботи системи розпізнавання 
елементів дактильної мови 


Ідентифікація елемента дактильної мови здійснюється за такою схемою (рис. 1). 
Розглянемо по кроках, як працює дана схема. Перед початком роботи системи заван- 
тажуються дані еталонних зображень, з якими у ході роботи порівнюється вхідне 
зображення. Також відбувається налаштування порогів освітлення та параметрів, що 
використовуються при побудові контурної моделі та скелета. 

На вхід системі подається зображення через звичайну веб-камеру (рис. 2, а). Отри- 
мане зображення переводиться у формат Н5У і за допомогою засобів сегментації відбу- 
вається пошук необхідних областей на зображенні відносно заданого порогу. Зображення, 
яке було отримане внаслідок сегментації, фільтрується і на виході маємо зображення 
з чітко виділеною рукою, на яку одягнена рукавичка (рис. 2, б). 

Далі проводиться аналіз, до якого класу жестів відноситься вхідне зображення. 
Розпізнавання жестів можна визначити як відношення вхідних даних до певного класу 
образів за допомогою виділення суттєвих ознак або властивостей, які виділяють вхідні 
дані від загальної маси неїстотних деталей. Під класом образів розуміється певна кате- 
горія, яка визначається рядом ознак, спільних для всіх її елементів |6|. 

У роботах |7), І8| було проведено класифікацію елементів дактильної мови. У ре- 
зультаті визначення, до якого класу відноситься вхідний елемент, подальші порівняння 
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з еталонними зображеннями будуть здійснюватися лише з елементами даного класу, 
а не з усіма елементами дактильної мови. 

Система ідентифікації елементів дактильної мови працює наступним чином. 
Перед початком роботи формується таблиця з елементів дактильної мови і у від- 
повідність кожному з них ставиться нуль. Відбувається розпізнавання за декількома 
алгоритмами, у результаті яких визначається елемент дактильної мови, до якого вхідне 
зображення найбільш схоже. Відповідно до отриманого елемента дактильної мови збіль- 
шується відповідний елемент таблиці на одиницю. Після закінчення роботи алгоритмів 
розпізнавання визначається елемент дактильної мови шляхом пошуку найбільшого еле- 
мента в таблиці, що була побудована на початку роботи. 


Вхідне відео 


Використання методів сегментації 
для визначення необхідних 
областей 


Застосування методів фільтрації 
для отримання областей, котрі 
відносяться до елементів 
дактильної мови 


Визначення, до якого класу 
елементів дактильної мови 
належить жест з вхідного відео 
за відношенням ширини до висоти 


Використання методів порівняння 
з еталоном, методів скелетизації, 
методів побудови контуру, методів 
аналізу областей для розпізнавання 
елемента дактильної мови 


Аналіз результатів розпізнавання, 
прийняття рішення, котра буква 
була відтворена 


Вихідний текст 


Рисунок І - Ідентифікація елемента дактильної мови 


У випадку, коли в поле зору камери потрапляє жест з великими амплітудними 
рухами, необхідно відслідковувати траєкторію руху руки. Для відстеження траєкторії 
об'єкта необхідно слідкувати за координатами центра мас. 

Розглянемо роботу даного методу на прикладі слова «ТРОЯ». 

Слово «ТРОЯ» складається з чотирьох букв. Букви «Т», «Р», «О» відображаю- 
ться нерухомими жестами, а буква «Я» відображається рухомим (рис. 3). 


300 «Искусственнь6й интеллект» 172012 


Застосування аналізу зв'язних областей до задачі розпізнавання елементів... ек 


Зміни координат центра мас відобразимо на графіках. На вісі абсцис відобража- 
ється момент часу, в який відображається жест. На вісі ординат відображаються коор- 
динати Х і у відповідно на першому і на другому графіках (рис. 4). 


6) 


Рисунок 2 - Дані, що отримані з веб-камери: 
а) відтворення букви «А»; б) сегментація зображення 


й 
Фе 


о | Я 


Рисунок 3 - Слово «Троя» 


Рисунок 4 - Графічне подання зміни координат центра мас 


Під час розпізнавання жестів відбувається побудова еталону вхідного жесту і по- 
рівняння з еталонами жестів (з бази знань) даного класу. Далі необхідно обчислити 
суму різниць між значеннями клітин еталонів і значенням клітин жесту, що розпі- 


о Ак 
аї; Мі; 


п ю 
знається: У - А", де а; - значення кожної клітини жесту, який розпізна- 


І, 


К . К - 
ЄТЬСЯ, М і - значення клітини кожного еталону. З множини Д вибирається найменше. 


Найменше А" визначить еталон, до якого відноситься жест, що розпізнається. 

Зазначимо, що даний підхід застосовується 1 при розділенні зображення на верти- 
кальні 1 горизонтальні смуги. У наслідок чого відбувається підрахунок різниць значень 
смуг еталонів зі значенням смуг жесту. 

Після аналізу результатів наведеного алгоритму виникла необхідність у аналізі 
додаткових ознак жесту, а саме - аналізі контуру зображення |8| 1 скелета зображення. 

Для побудови контуру були використані оператор Собеля 1 аналіз функції яскра- 
вості |9)| вхідного зображення (рис. 5, а), а для побудови скелета зображення (рис. 5, б) 
було використано алгоритми Зонга-Сюня (10) та алгоритм «вогонь в прерії» (11). 

Для більш ефективної ідентифікації елементів дактильної мови пропонується роз- 
глянути використання кутових параметрів кисті руки людини. Нехай М - кількість 
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пікселів, які відносяться до об'єкта. Всю множину пікселів р(х, у), що відносяться до 
об'єкта, позначимо 0. Тоді координати центра мас обчислюються наступним чином |: 


1 1 
зе УЗ Р ь вч У у. 


року) р(х,у)є0 


а) 6) 


Рисунок 5 - а) Побудова контуру жесту, що відтворює букву «Б»; 
6) побудова скелета жесту, що відтворює букву «У» 


Проведемо з центра мас вектори у крайні точки області пікселів, які віднося- 
ться до кисті руки (рис. 6). Обрахуємо кути між побудованими векторами. Значення 
даних кутів будемо використовувати за ознаки для розпізнавання. 

Розглянемо ще один спосіб виділення ознак для розпізнавання елементів дак- 
тильної мови. А саме знайдемо відношення довжин векторів, проведених з центра 
мас в крайні точки. 

Нехай а, а,, аз, а, - довжини векторів, проведених з центра мас в крайні точки. 
Проведемо нормалізацію довжин векторів. 


а 
па, 
ача, Ра -та, 

а 

пА, з З 


ПЕРЕ са ЗБЕАЕЕНЕ 
агсчка, кача, 


Літера «У» Літера «С» 


Рисунок 6 - Ідентифікація жесту за допомогою кутів між векторами, 
проведених з центра мас в крайні точки 


302 «Искусственнь6й интеллект» 172012 


Застосування аналізу зв'язних областей до задачі розпізнавання елементів... 


Отримані значення порівнюються з еталонними значеннями. На основі результатів 
порівняння вхідний жест класифікується до відповідного класу об'єктів. 

Проведемо аналіз кутових параметрів для кутів, що утворені векторами, проведе- 
ними з центра мас в точки, які є кінцями ребер опуклої оболонки. Побудуємо опуклу 
оболонку навколо множини пікселів, які відносяться до об'єкта. Для цього необхідно 
побудувати контур області (позначимо його К ) пікселів об'єкта. Наступний крок - 
це перевірка, чи дві довільні точки контуру утворюють ребро опуклої області. Цю пере- 
вірку можна зробити за правилом: для того щоб дві точки (х,,, у, )ЄК і (х.,,у,)ЄК 
утворювали ребро контуру, необхідно і досить, щоб 

Мб деко АТО ок ВНОЇ зу 2 05 
або 
УС У ЕК, АЧХ. -х.)-ВЧу. -у 20, 

де Аз уа 7 Ус» ВЗ Хо Ха: 

Дану перевірку необхідно повторити для кожної точки, в результаті чого утво- 
риться опукла оболонка. 

Проведемо з центра мас вектори в кінці відрізків, які утворюють опуклу об- 
ласть (рис. 7). Обрахуємо кути між побудованими векторами. Значення даних кутів 
використовуються як ознака для розпізнавання. 


Рисунок 7 - Побудова опуклої оболонки і векторів з центра мас у відповідні точки 


Проаналізувавши форму елементів дактильної мови та враховуючи те, що у всіх 
людей різні розміри руки, пропонується обрахувати наступні характеристики |121: 
компактність; орієнтацію головної осі; видовження. 

РІ 

Компактність - це відношення квадрата периметра до площі області: С - - -. 
При роботі з зображенням площа - це кількість пікселів, які відносяться до області, 
периметр - кількість пікселів, котрі відносяться до контуру області. У роботі |8| опи- 
сано ряд алгоритмів для побудови контурів елементів дактильної мови. 

Для знаходження орієнтації головної осі та видовження необхідно обчислити 
дискретний центральний момент. Він знаходиться наступним чином: 


ПЛР З Р - 
реве І 7 б . Мне 
ті з ; (хо ХУ 0) , Хоч ) Х уко ; у, 
Сх, у)ЄКеє п Сх, у)ЄКеє п (х, у)ЄКея 


де п - кількість пікселів, які відносяться до області. 
Орієнтація головної осі обчислюється за такою формулою: 


| 2 2 
ту Я Пов (ту їз Тг) ч 4ті, 


еЇопзайоп - 
тот т -то) Ат 
20 02 20 02 11 
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Для визначення орієнтації (рис. 8) кисті руки можна скористатися наступною 
ознакою: 


Рисунок 8 - Визначення орієнтації руки 


Також пропонується використовувати більш складні інваріантні ознаки для іден- 
тифікації елемента дактильної мови: 


М ато т 

М, (то то) ще Дт 

М, «(ту Зть) т, ту) 

М, (то то) (т ту) 

М а (таз г ЗТ ОТ ОТ КОТУ Р ть) -3(т, В та) - 
чт, тот ЕТ УЗ то Ето) (ту ту) ) 

М, (ту туту т) (тота) В 

Ат (То То ТЕЙ) 

М, а (Зт, тот, то (ту то) от, ту) ) з 


2 2 
(то п Зть т» я Піоз (то ен т) п (ту ка та ) , 
У систему завантажуються значення ознак еталонних зображень. У ході роботи сис- 
теми дані ознаки обчислюються для вхідного зображення і порівнюються з еталонними. 


Висновки 


У даній статті проаналізовано загальну схему роботи системи для ідентифікації 
елементів дактильної мови. Розглянуто роботу алгоритмів для розпізнавання жестів. 
Детально описано роботу алгоритмів розпізнавання за допомогою аналізу кутових 
параметрів, а саме розглянуто випадки роботи з крайніми точками та з опуклою обо- 
лонкою. У роботі описано використання таких ознак, як компактність, орієнтація голов- 
ної осі, видовження. 

На основі проведених випробувань і отриманих результатів розробляються алго- 
ритми розпізнавання дактильно-жестової мови за відсутності рукавичок або за відсут- 
ності допоміжних міток на руках. 
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со Я 


У.У. Ктак, Р.У. 5НКітпиїк, К.5. КгисНіпіп, С.М. Е/їтоу 
Арріїсатоп ої Апаїузбіз ої Соппестеа Кеєіоп5 о Ше Ргобіет 
ОЇ Кесо?пійоп ої Кіетепіз оЇ| Пе Кіпеет-5їсп Гапоипаєе 


Тре ргобіегі ої бийадтя ої Фе 5узіет Гог еіеппепіз ідепайсайоп апа гесоєпійоп іп 
Чассуїоіоєу ої Фе ЮКгаїпіап Іапепаєє аге сопз5ідегей їп Фе агисіе. ТРре Бакзіс іЧеа 15 (0 дебідп 
а тесрапізпа апаЇузі8 ої (ре ге5иїя ої 5еуегаї гесоєпійоп аїєогійдтя. Ап ехрегітепіа! 5шшау, 
ууУбісі Ше рег5оп'я дерісіед єезїигеє млі даїНегепі 51765 ої рапд8 їп, паме Бееп пладе. Її 15 
ргоровед Іо 50Іуе Ше яїуеп ргобіегі ул Ше РоПомлтпе, соп5ігаїпіз: 1) папа, мрісп ріауб а 
дезішге, Фге55ед їп єЇоуе, ул Фе соіог дгатайсаПу адїНегепі бот Ше ехіегпа! епуїгоптепі, 
2) сезшшге ріауеай оп Їому зрееа. 

ІЧепийсацоп ої еіетепізя ої ре Ппеег-зісп Іапецаєє ууогК5 аз ЇоПом/5. Веїоге изіпе, 
Фе кабіе ої еіетепія ої Ше Ппеег-5ієп Іапемаєе 15 їогтеай апа іп ассогдапсе (о еасі ої 
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Фезе еЇетепіє, его 15 рик. Кесоєпійоп 15 пааде Бу 5еуега! аїсогіїртія. А5 Ше гези!і, ап 
еіетепі ої Ше Нпеег-5ісп Іапемаєе, м/рісП 15 плоге гезетііега о іприк ітаєе, 15 декеїтіпей. 
Ассогаїпе, (о Ше обіаїпед еіетепі ої бе Ппеег-5ієп Іапєцаєє?, Ше соггезропдїпе, еіетепі іп 
ре кабіе 15 іпсгеа5ед Бу опе. Айег могк сотріепоп ої аїєогіртя ої гесорпійоп, ап еЇ|етепі 
ої Ше Ппеег-5ієп Іапецаєє 15 дейпед Бу 5еагсріпє Ше Іагее5і еЇетепі іп Ше (абіе Ба, 
хуУріспугав Бий ас Фе Беєвіппіпе ої Фе могк. 

Бог ідепійсайоп апа гесоєпіцоп ої еіетепія ої ре Ппеег-5ієп Іапоцаєе, Ше ГоПомітпе 
зспете 158 ц5еа: 

1. А умідео ітаєе 15 гесеїуед го Фе їприг 5у5іет. ТПі8 ітаєе 15 (гап5їсттед їпіо Н5У 
Гогтаї, апа Бу пеапз ої 5зестепіаноп, Ше зеагсП їог зресійс агеаз ої Ше шпаєе геі|айуєе! у 
іо Фе ргезепі Шгез5поїд Ба8 ріасе. Тре шпаєе обіаїпей а8 а гезиіс ої 5естепіайоп 15 
Негеай апа опери! ітаєє 18 а дї5йпсі рапа їп аг єЇ0уе меагіпе; 

2. Сезішгез8, мрісП сіаз58 Беопе8 Фе іпри! ітаєе 00, аге апаТу7едй; 

3. Ап іприї штаєе Їог паціаріе аїсогіПт5 15 гесоєбпі7ей; 

4. Тре гезиї Ба5ед оп обіаїпед сопз5едцепсе ої аїсогійтвяаге Гогтеай. 

Могабіу, Нбгагу 5капдагд8, у"пісп аге иц5ей Їог гесоєпійоп у/а5 Биїс оп Бакзі8 ої 
ітаєе58 ої се5ішез Шаг ріауей Бу реоріе ул даїНегепі 517е5 ої рапа8. 

Оп Ше Базія ої (е5і ге5иікя, Фе аїсогішптя Гог гесоєпійоп ої Ше Ппеег-5ієп Іапепаєє 
мтфроці 8Їоує58 аз ме! а8 мутроці апхіПагу Пабеї!я оп Ппапдз8 аге деуеіорей. 


Стаття надійшла до редакції 21.11.2011. 
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